Accurate but Not Humble: Evaluating Epistemic Humility in LLM Agents under Knowledge Conflict
准确但不谦逊：评估知识冲突下 LLM Agent 的认知谦逊
🧭 Agent 评估 · 知识冲突与不确定性
Johns Hopkins University · New York University
提出 ISE 轨迹级评估框架，发现高准确率不必然伴随认知谦逊，模型干预提升谦逊常损失准确率
📌 工作参考价值（4 点）
- 在电商 RAG/Agent（商品问答、智能客服、选品助手）中，除最终准确率外，增加轨迹级 ISE 指标：是否识别冲突、是否尝试二次检索/对比解决、是否对未解决冲突升级给用户或人工；可在日志中埋点监控。
- 构建对抗性评测集：故意注入与模型参数知识矛盾的商品属性、库存、价格信息，或构造两个上下文来源不一致的场景，检验 Agent 是否静默覆盖冲突，而不是只测端到端准确率。
- 多步 Agent 流程中，早期检测到的冲突常在后续被覆盖；可在每步状态维护“未解决冲突”列表，并在最终回答前强制检查，或用 memory 保存冲突标记，要求输出时带上 caveat。
- 强制模型输出不确定性可能降低任务完成率，建议按业务风险分级：高合规/价格承诺场景启用强制谦逊与升级，低风险推荐场景只做日志监控。